In this paper, we introduce MINTIME, a video deepfake detection approach that captures spatial and temporal anomalies and handles instances of multiple people in the same video and variations in face sizes. Previous approaches disregard such information either by using simple a-posteriori aggregation schemes, i.e., average or max operation, or using only one identity for the inference, i.e., the largest one. On the contrary, the proposed approach builds on a Spatio-Temporal TimeSformer combined with a Convolutional Neural Network backbone to capture spatio-temporal anomalies from the face sequences of multiple identities depicted in a video. This is achieved through an Identity-aware Attention mechanism that attends to each face sequence independently based on a masking operation and facilitates video-level aggregation. In addition, two novel embeddings are employed: (i) the Temporal Coherent Positional Embedding that encodes each face sequence's temporal information and (ii) the Size Embedding that encodes the size of the faces as a ratio to the video frame size. These extensions allow our system to adapt particularly well in the wild by learning how to aggregate information of multiple identities, which is usually disregarded by other methods in the literature. It achieves state-of-the-art results on the ForgeryNet dataset with an improvement of up to 14% AUC in videos containing multiple people and demonstrates ample generalization capabilities in cross-forgery and cross-dataset settings. The code is publicly available at https://github.com/davide-coccomini/MINTIME-Multi-Identity-size-iNvariant-TIMEsformer-for-Video-Deepfake-Detection.

开发预测灾难性自然现象的方法比以往任何时候都更为重要，龙卷风是自然界中最危险的。由于天气的不可预测性，抵消它们并不是一件容易的事，如今，它主要由专家气象学家（解释气象模型）进行。在本文中，我们提出了一个用于早期检测龙卷风的系统，验证了其在现实世界中的有效性，并利用已经在全球广泛普遍存在的气象数据收集系统。我们的系统能够预测龙卷风，最大概率为84％，直到活动前五天，在一个新颖的数据集中，有5000多个龙卷风和非龙卷风事件。数据集和复制我们的结果的代码可在以下网址获得：https：//tinyurl.com/3brsfwpk

深层生成技术正在快速发展，使创建现实的操纵图像和视频并危及现代社会的宁静成为可能。新技术的持续出现带来了一个要面对的另一个问题，即DeepFake检测模型及时更新自己的能力，以便能够使用最新方法识别进行的操作。这是一个非常复杂的问题，因为训练一个模型需要大量数据，如果深层生成方法过于最近，这很难获得。此外，不断地重新训练网络是不可行的。在本文中，我们问自己，在各种深度学习技术中，是否有一个能够概括深层的概念，以至于它不会与培训中使用的一种或多种或多种特定的深层捕获方法息息相关。放。我们将视觉变压器与基于伪造网络数据集的跨性别环境中的有效NETV2进行了比较。从我们的实验中，有效的NETV2具有更大的专业趋势，通常会在训练方法上获得更好的结果，而视觉变压器具有卓越的概括能力，即使在使用新方法生成的图像上也使它们更有能力。

随着网络和在线百科全书的可访问性的增加，要管理的数据量正在不断增加。例如，在Wikipedia中，有数百万页用多种语言编写。这些页面包含通常缺乏文本上下文的图像，在概念上保持浮动，因此很难找到和管理。在这项工作中，我们介绍了我们设计的系统，用于参加Kaggle上的Wikipedia图像捕捉匹配挑战，其目的是使用与图像（URL和视觉数据）相关的数据来在大量可用图像中找到正确的标题。能够执行此任务的系统将改善大型在线百科全书上多媒体内容的可访问性和完整性。具体而言，我们提出了一个由最近的变压器模型提供支持的两个模型的级联，能够有效地推断出查询图像数据和字幕之间的相关得分。我们通过广泛的实验来验证，提出的两模型方法是处理大量图像和标题的有效方法，同时保持了推理时的整体计算复杂性。我们的方法取得了显着的结果，在Kaggle Challenge的私人排行榜上获得了0.53的归一化折扣累积增益（NDCG）值。

得益于深度学习的最新进展，如今存在复杂的生成工具，这些工具产生了极其现实的综合语音。但是，这种工具的恶意使用是可能的，有可能对我们的社会构成严重威胁。因此，合成语音检测已成为一个紧迫的研究主题，最近提出了各种各样的检测方法。不幸的是，它们几乎没有概括为在训练阶段从未见过的工具产生的合成音频，这使他们不适合面对现实世界的情况。在这项工作中，我们旨在通过提出一种仅利用说话者的生物特征的新检测方法来克服这个问题，而无需提及特定的操纵。由于仅在实际数据上对检测器进行训练，因此可以自动确保概括。建议的方法可以基于现成的扬声器验证工具实现。我们在三个流行的测试集上测试了几种这样的解决方案，从而获得了良好的性能，高概括能力和高度鲁棒性。

物联网系统中的微型机器学习（Tinyml）利用MCU作为数据处理的边缘设备。但是，传统的Tinyml方法只能执行推理，仅限于静态环境或类。真实情况通常在动态环境中起作用，从而将原始神经模型不再合适的上下文漂移。因此，预训练的模型降低了其一生中的准确性和可靠性，因为记录的数据缓慢变为过时或出现新模式。连续学习策略通过对参数进行运行时进行微调维护模型。本文比较了两个实际应用中的四种最新算法：i）基于加速度计数据的手势识别和ii）图像分类。我们的结果证实了这些系统的可靠性以及将它们部署到微小的MCUS中的可行性，相对于无约束计算平台的原始模型的精确度下降了几个百分点。

持续学习旨在从一系列任务中学习，能够同时记住新任务和旧任务。尽管提出了许多用于单级分类的方法，但在连续场景中，多标签分类仍然是一个具有挑战性的问题。我们第一次在域增量学习方案中研究多标签分类。此外，我们提出了一种有效的方法，该方法在任务数量方面具有对数复杂性，并且也可以在类增量学习方案中应用。我们在包装行业的现实世界多标签警报预测问题上验证了我们的方法。为了重现性，公开可用的数据集和用于实验的代码。

深厚的增强学习（DRL）在各种机器人应用中取得了突破性的成功。自然的结果是采用这种范式来进行关键的任务，其中可以涉及人类安全和昂贵的硬件。在这种情况下，至关重要的是优化基于DRL的代理的性能，同时提供其行为的保证。本文提出了一种新型技术，用于将域专家知识纳入受约束的DRL训练环中。我们的技术利用了基于方案的编程范式，该范式旨在以简单而直观的方式指定此类知识。我们验证了有关流行的机器人地图导航问题，模拟和实际平台的方法。我们的实验表明，使用我们的方法利用专家知识极大地提高了代理的安全性和性能。

我们介绍了一个大规模实验，该实验对编码器进行了预处理，其参数计数范围从700m到9.3b不等，随后蒸馏到较小的型号中，范围为17m-170亿参数，其应用到自然语言理解（NLU）组件（NLU）组件（虚拟助手系统。尽管我们使用70％的口语数据训练，但在对书面形式的跨语性自然语言推论（XNLI）语料库进行评估时，我们的教师模型与XLM-R和MT5相当。我们使用系统中的内域数据对教师模型进行了第二阶段的训练，以提高了3.86％的相对分类，而相对7.01％的插槽填充。我们发现，即使是从我们的2阶段教师模型中提取的170亿参数模型，与仅接受公共数据的2.3B参数老师相比，与2.3B参数老师相比，意图分类更好2.88％，并且7.69％的插槽填充错误率更好（第1阶段），强调了。内域数据对训练的重要性。当使用标记的NLU数据进行离线评估时，我们的17m参数阶段2蒸馏模型的表现分别优于XLM-R碱基（85m Params）和Distillbert（42m Params），分别优于4.23％至6.14％。最后，我们介绍了一个完整的虚拟助手实验平台的结果，在该平台中，我们发现使用经过预训练和蒸馏管道训练的模型超过了从8500万参数教师蒸馏的模型，在自动测量全系统用户不满的自动测量中，从8500万参数教师蒸馏出3.74％-4.91％。

这项工作调查了基于课程学习（CL）对代理商的绩效的影响。特别是，我们专注于机器人毛美导航的安全方面，比较标准端到端（E2E）培训策略。为此，我们提出了一种方法，即利用学习（tol）和微调在基于团结的模拟中的微调，以及Robotnik Kairos作为机器人代理。对于公平的比较，我们的评估考虑了对每个学习方法的同等计算需求（即，相同的相互作用和环境的难度数），并确认我们基于CL的方法使用TOL优于E2E方法。特别是，我们提高了培训的政策的平均成功率和安全，导致看不见的测试方案中的碰撞减少了10％。为了进一步确认这些结果，我们采用正式的验证工具来量化加强学习政策的正确行为数量超过所需规范。